When Text and Numbers Disagree: Evidence Arbitration in Large Language Models
当文本与数字冲突：大语言模型的证据仲裁研究
🧭 LLM 异质证据冲突仲裁与推理偏差
Department of Engineering Science, University of Oxford · Nuffield Department of Primary Care Health Sciences, University of Oxford · GlaxoSmithKline · Oxford Suzhou Centre for Advanced Research, University of Oxford
系统研究 LLM 在文本与数值证据冲突时的仲裁行为，发现启发式偏向与外部工具过度依赖
📌 工作参考价值（4 点）
- 在 Agent/RAG 工具调用链中，若检索或数值 API 返回与上下文文本冲突，不要默认模型能正确仲裁。建议在 LLM 前增加显式证据对齐/冲突检测模块：将数值序列与文本摘要对齐到统一 schema，并标记冲突供模型或规则处理。
- 模型对外部工具输出存在过度依赖，即使与直接上下文冲突也倾向采信工具结果。工程上可对工具输出注入置信度/新鲜度信号，并强制模型在生成最终答案前输出每路证据的可靠性判断，作为中间推理步骤。
- 显式可靠性提示效果弱于时间 recency 提示，提示词中“最新数据优先”可能比“高可靠来源优先”更有效；业务中实时转化率等时间敏感特征与历史统计冲突时，应更重视 recency 信号而非依赖模型自行权衡。
- 可构建合成冲突测试集（用隐变量生成两种模态，再制造仅一个模态对齐 ground truth）用于上线前评估 LLM 在风控、广告竞价、推荐解释等场景下的证据整合鲁棒性。